iT邦幫忙

2024 iThome 鐵人賽

DAY 9
0
AI/ ML & Data

我的深度學習-從0開始實作物件偵測系列 第 9

【Day 9】物件偵測評估常見的術語 - Precision and Recall

  • 分享至 

  • xImage
  •  

一、前言

物件偵測不僅是判斷物體的位置,還有要判斷物體的種類等,因此在模型的辨識上,不會只依靠準確率(accuracy)來判斷模型的好壞,因此這邊會介紹幾個常見的評估方式來確定模型的辨識能力。

那在講述mAP之前,我們必須要了解幾個指標precision、recell、IoU和F1 score,IoU在前一個章節已經介紹過,那這邊我們就來介紹前者。

二、Precision and Recall

image

來源:Medium

Precision:當模型預測一個樣本為目標物時,有多大的機率它真的就是目標物。這個指標也被稱為PPV(Positive Predictive Value),即正確預測的正確比率。

Recall:模型能夠識別出多少實際的目標物。換句話說,在所有實際為目標物的樣本中,有多少被模型成功檢測出來。這個指標有另一種說法叫Sensitivity,意思是模型的敏感性或檢測率

可以將Precision和Recall寫成如上圖的數學公式,那下方我們用更精確的名稱去介紹這套公式。

image

TP:模型真正預測為真的樣本數。
FP:模型錯誤的預測為真的樣本數。

image

FN:模型錯誤的預測為假的樣本數。

這邊提供個例子,譬如模型檢測出了100輛汽車中,有80輛是真正的汽車,那Precision就是0.8或者80%。

如果實際有100個汽車,而模型正確的檢測出了85個,那Recall就是0.85或85%。

F1 score 則是 Precision 與 Recall 的調和平均數,提供了一個平衡兩者的單一指標。

image

三、結論

通過了解評估模型的術語後,可以更方便理解未來訓練模型時,判斷及確認此模型的好壞,介紹完Precision and Recall後接著我們繼續介紹mAP,下篇見。

image


上一篇
【Day 8】物件檢測的標準 IoU(Intersection over Union)
下一篇
【Day 10】物件偵測評估常見的術語 - mAP
系列文
我的深度學習-從0開始實作物件偵測30
圖片
  直播研討會
圖片
{{ item.channelVendor }} {{ item.webinarstarted }} |
{{ formatDate(item.duration) }}
直播中

1 則留言

0
Lai32290
iT邦新手 5 級 ‧ 2024-10-09 10:41:05

「這邊提供個例子,譬如實際有100個汽車,而模型正確檢測出了80個汽車,那Precision就是0.8或者80%。

如果實際有100個汽車,而模型正確的檢測出了85個,那Recall就是0.85或85%。」

不好意思,可能是我沒有看懂,但是這兩句看起來好像是在說一樣的東西?

Xiang iT邦新手 5 級 ‧ 2024-10-09 23:08:55 檢舉

抱歉,這邊的表達有點問題,應該是這樣說才對。

第一個例子應該是模型檢測出了 100 輛汽車中有 80 輛是真正的汽車,所以 Precision 為 0.8或為80%。

第二個例子是如果實際有 100 輛汽車,而模型正確檢測出了 85 輛,那 Recall 的值為 0.85或者85%。

希望這樣的說明能幫到你,也感謝你的糾正。

我要留言

立即登入留言